小鼠的自动社会行为分析已成为行为神经科学中越来越流行的研究领域。最近，已使用姿势信息（即关键点或骨骼的位置）来解释小鼠的社会行为。然而，很少在现有方法中研究了小鼠关键点基础的社会互动信息的有效编码和解码。特别是，由于高度变形的身体形状和模棱两可的运动模式，建模小鼠之间复杂的社交互动是一项挑战。为了处理交互建模问题，我们在这里提出了一个跨骨骼相互作用图聚合网络（CS-IGANET），以学习自由相互作用的小鼠的丰富动力学，其中使用了跨骨骼节点级交互模块（CS-NLI）建模多级相互作用（即内部，间和跨骨骼相互作用）。此外，我们设计了一种新颖的互动感知变压器（IAT），以动态学习社交行为的图形表示，并更新节点级表示，并在我们提出的互动意识到的自我注意力下的机制的指导下。最后，为了增强我们的模型的表示能力，提出了辅助自我监督的学习任务来衡量跨骨骼节点之间的相似性。标准CRMI13-SKERTON和我们的PDMB-Skeleton数据集的实验结果表明，我们所提出的模型的表现优于其他几种最先进的方法。
translated by 谷歌翻译
2022-09-27
深度神经网络端对端训练有素，将（嘈杂）图像映射到干净的图像的测量值非常适合各种线性反问题。当前的方法仅在数百或数千张图像上进行训练，而不是在其他领域进行了数百万个示例。在这项工作中，我们研究是否可以通过扩大训练组规模来获得重大的性能提高。我们考虑图像降解，加速磁共振成像以及超分辨率，并在经验上确定重建质量是训练集大小的函数，同时最佳地扩展了网络大小。对于所有三个任务，我们发现最初陡峭的幂律缩放率已经在适度的训练集大小上大大减慢。插值这些缩放定律表明，即使对数百万图像进行培训也不会显着提高性能。为了了解预期的行为，我们分析表征了以早期梯度下降学到的线性估计器的性能。结果正式的直觉是，一旦通过学习信号模型引起的误差，相对于误差地板，更多的训练示例不会提高性能。
translated by 谷歌翻译
近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。
translated by 谷歌翻译
2021-12-09
机器学习中的一个重要问题是能够以顺序方式学习任务。如果有标准的一阶方法培训大多数模型忘记了在新任务上培训时忘记了先前学习的任务，这通常被称为灾难性遗忘。一种流行的克服遗忘方法是通过惩罚在以前任务上的模型来规范损失函数。例如，弹性重量整合（EWC）用二次形式正规，涉及基于过去数据的对角线矩阵构建。虽然EWC对于一些设置工作非常好，但即使在另外理想的条件下，如果对角线矩阵是先前任务的Hessian矩阵的近似近似，它也可以证明灾难性遗忘。我们提出了一种简单的方法来克服这一点：正规规范了与过去数据矩阵的草图草图的新任务的培训。这可以通过内存成本可提供克服灾难忘记线性模型和宽神经网络的灾难性忘记。本文的总体目标是在基于正规化的连续学习算法和内存成本下提供有关时的见解。
translated by 谷歌翻译
许多最近的作品表明，过度分辨率隐含地降低了MIN-NORM Interpolator和Max-Maxifiers的方差。这些调查结果表明，RIDGE正则化在高维度下具有消失的益处。我们通过表明，即使在没有噪声的情况下，避免通过脊正则化的插值可以显着提高泛化。我们证明了这种现象，用于线性回归和分类的强大风险，因此提供了强大的过度装备的第一个理论结果。
translated by 谷歌翻译